1 hadoop集群规划
1.1 共有A、B、C 三台机器;
1.2 A 作为master,B作为slave1,C作为slave2;
1.3 IP A :192.168.1.103;B:192.168.1.104;C:192.168.1.101;
1.4 OS:centos6.2(64bit)
2 hadoop集群搭建步骤
2.1 创建 hadoop用户,并使该用户拥有root权限(在master机器上进行)
#创建hadoop用户
useradd hadoop
#给用户hadoop添加密码
passwd hadoop
#付给hadoop用户root权限
vi /etc/passwd 将hadoop用户的用户ID 、组ID 都改为0,如hadoop:x:0:0::/home/hadoop:/bin/bash(记得先切换到root用户哦,其他用户估计对该文件没有权限)
2.2 切换到hadoop用户,进入hadoop用户主目录(在master机器上进行)
#切换到hadoop用户
su hadoop
根据提示输入密码(如果从普通用户切换到hadoop,需要密码;如果从root用户切换到hadoop,不许要输入密码,也就没有这一步了)
#进入hadoop的主目录
cd /home/hadoop
2.3 安装JDK环境(hadoop是JAVA编写的一个工具,需要使用JDK)(在master机器上进行)
yum install openjdk*(yum 是centos上的一个安装软件的工具,可以查找软件、删除软件、更新软件等)
2.4 安装openssh(hadoop节点间通信需要使用到它,并且相对ssh而言,这个是免费的)(在master机器上进行)
#安装openssh
yum install openssh*
#生存ssh密钥
ssh-keygen -t rsa -P ''
#进入.ssh文件夹
cd /root/.ssh
#将公钥加到认证的公钥文件中
cat id_rsa.pub>>authorized_keys
2.5 下载hadoop安装包并进行相应的配置(在master机器上进行)
#下载hadoop-1.0.4.tar.gz
#解压hadoop-1.0.4.tar.gz到/home/hadoop
#hadoop-1.0.4文件夹中的conf文件夹中是我们需要配置的文件(详情见地址)
http://download.csdn.net/detail/lovemelovemycode/5634581
2.6 配置hosts和hostname(在master上进行)
#下载这个文件
http://download.csdn.net/detail/lovemelovemycode/5634599
2.7 在slave1和slave2上重复2.1、2.2、2.3的步骤
2.8 将master上相应的文件copy到slave1\slave2上(在master上进行)
scp -r .ssh hadoop@slave1:/root
scp -r .ssh hadoop@slave2:/root
scp -r /home/hadoop/hadoop-1.0.4 hadoop@slave1:/home/hadoop
scp -r /home/hadoop/hadoop-1.0.4 hadoop@slave2:/home/hadoop
scp -r /etc/hosts hadoop@slave1:/etc
scp -r /etc/hostname hadoop@slave2:/etc
2.9 关闭 master、slave1、slave2的防火墙
#暂时关闭防火墙
/etc/init.d/iptables stop
#永久关闭防火墙
chkconfig –level 35 iptables off
2.10 对namenode\datanode进行格式化(在master上进行)
bin/hadoop namenode -format
bin/hadoop datanode -format
2.11 启动hadoop(在master上进行)
# 进入hadoop-1.0.4
bin/start-all.sh
3 hadoop集群搭建成功的验证方法
3.1 通过java 的jps命令验证
http://download.csdn.net/detail/lovemelovemycode/5634649
3.2 通过http://master:50070 和http://master:50030验证
本文旨在提供最基本的,可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用。
Hadoop集群已成为Yahoo大规模机器学习的首选平台,为了在这些强化的Hadoop集群上支持深度学习,我们基于开源软件库开发了一套完整的分布式计算工具,它们是Apache Spark和Caffe。
3节点hadoop集群的安装配置完成后,就是测试hadoop集群是否安装成功的方法,可以用jps命令和实例进行验证集群是否安装配置成功。
Ubuntu 12.04单机版环境中搭建hadoop详细教程,在Ubuntu下创建hadoop用户组和用,创建hadoop用户。
三节点hadoop集群配置和测试过程分享,系统:Ubuntu12.04,java版本:JDK1.7,机器分配:一台master,两台slave。
【聚焦搜索,数智采购】2021第一届百度爱采购数智大会即将于5月28日在上海盛大开启!
本次大会上,紫晶存储董事、总经理钟国裕作为公司代表,与中国—东盟信息港签署合作协议
XEUS统一存储已成功承载宣武医院PACS系统近5年的历史数据迁移,为支持各业务科室蓬勃扩张的数据增量和访问、调用乃至分析需求奠定了坚实基础。
大兆科技全方面展示大兆科技在医疗信息化建设中数据存储系统方面取得的成就。
双方相信,通过本次合作,能够使双方进一步提升技术实力、提升产品品质及服务质量,为客户创造更大价值。